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摘要 借助 跨 通道 情绪 启动 范式 考察 声乐 与 器 乐 情 绪 加 工 的 电 生 理 差 异 。 启 动 刺 激 是 声乐 和 
器 乐曲 (小 提琴 演奏 )， 目 标 刺激 是 与 音乐 情绪 一 致 或 不 一 致 的 面孔 表情 图 片 。 结 果 显 示 ， 与 
一 致 条 件 相 比 ， 与 面孔 情绪 不 一 致 的 器 乐曲 诱发 了 N400， 而 与 面孔 情绪 不 一 致 的 声乐 曲 诱 
发 了 LPC。 这 些 结果 表明 ， 声 乐 与 器 乐 情绪 加 工 的 电 生理 反应 存在 差异 。 
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1 引言 

聆听 音乐 是 现代 人 生活 中 的 重要 组 成 部 分 。 声 乐 ( 即 歌 曲 ) 与 器 乐 ( 即 纯音 乐 ) 是 日 常 聆听 
中 的 2 种 音乐 类 型 。 然 而 ， 有 些 人 喜欢 聆听 器 乐 ， 有些 人 则 偏爱 聆听 声乐 ， 认 为 歌词 可 以 帮 
助理 解 音乐 意义 ， 如 音乐 的 情绪 意义 。 

那么 , 听 者 对 声乐 和 器 乐 情 绪 加 工 是 否 存在 差异 ? 已 有 行为 研究 表明 , 声乐 与 器 乐 情绪 
加 工 存 在 差异 。 在 Stratton 和 Zalanowski (1994) 研 究 中 ， 大 学 生 聆 听 一 首 表现 悲伤 情绪 的 歌 
曲 、 歌 曲 的 纯音 乐 或 歌词 版 本 ， 在 10 点 等 级 (1 = 非常 不 愉快 ，10 = 非常 愉快 ) 上 对 刺激 的 
愉悦 度 进行 主观 评定 。 结 果 显 示 ,， 大 学 生 对 纯音 乐 愉悦 度 的 评定 显著 高 于 对 歌曲 和 歌词 的 评 
定 。 通过 5 点 等 级 评定 ，Brattico 等 人 (2011) 也 发 现 , 被 试 对 纯音 乐 的 愉悦 度 评定 高 于 对 歌曲 
的 评定 。 但 是 ， 也 有 了 矛盾 的 研究 结果 。Loui，Bachorik，Li 和 Schlaug (2013) 让 被 试 聆听 16 
首 歌曲 及 其 器 乐 版 本 ， 对 音乐 愉悦 度 进行 5 点 等 级 评定 。 研究 者 发 现 ， 听 者 对 声乐 与 器 乐 版 
本 的 愉悦 度 评定 无 明显 差异 。 

以 上 研究 从 情绪 效 价 视角 探究 声乐 与 器 乐 情绪 加 工 , 还 有 一 些 研究 从 情绪 强度 视角 探讨 
这 个 问题 ,在 Ali 和 Peynircioğlu (2006) 研 究 中 , 大学生 聆听 16 首 歌曲 及 其 对 应 的 器 乐 版 本 。 
在 听 完 音乐 后 ， 被 试 评定 音乐 表现 的 情绪 强度 (1 = 一 点 也 不 ，9 = 非常 )。 结 果 表明 ， 纯 音 
乐 的 情绪 强度 高 于 歌曲 的 情绪 强度 。 然而 , Franco, Chew 和 Swaine (2017) 得 出 不 同 的 结论 。 
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究 者 让 3 组 大 学 生 分 别 聆听 纯音 乐 有 纯音 乐 的 歌曲 和 无 纯音 乐 的 歌曲 , 评定 音乐 情绪 强 
度 (1 = 一 点 也 不 ，7= 非常 )。 研 究 表明 ， 被 试 对 不 同音 乐 情绪 强度 的 评定 基本 相同 。 

已 有 研究 结果 的 不 一 致 可 能 由 于 行为 指标 比较 主观 .不 敏感 引起 。 那 么 , 使 用 相对 客观 、 
较为 敏感 的 脑 电 指标 (Kraus & Horowitz-Kraus, 2014; Luck, 2014) 有 可 能 更 好 揭示 声乐 与 器 乐 
情绪 加 工 是 否 存在 差异 。 跨 通道 情绪 启动 范式 被 广泛 运用 于 情绪 加 工 的 ERP 研究 中 (比如 ， 
Diamond & Zhang, 2016; Steinbeis & Koelsch, 2011)。 这 类 研究 主要 聚焦 N400 Fl LPC 成 分 
N400 反映 了 语义 或 概念 的 整合 加 工 (Kutas & Federmeier 2011)， 其 峰值 在 400 ms 左右 达到 
BA, 通常 分 布 在 中 央 和 顶 区 电极 位 置 ， 稍 微 偏 右 侧 化 。 尽 管 如 此 ， 在 跨 通道 情绪 启动 范式 


研究 中 ， 与 启动 音乐 (Goerlich et al., 2012; Steinbeis & Koelsch, 2011). 言语 韵律 Paulmann & 


Pell, 2010; Schirmer, Kotz, & Friederici, 2005) 和 面孔 图 片 (Diamond & Zhang, 2016; Fécker & 
Röder, 2019) 情 绪 不 一 致 的 目标 刺激 诱发 了 更 大 的 N400。 这 表明 ，N400 也 反映 了 对 情绪 冲 
突 的 检测 与 整合 (Zhang, Lawson, Guo, & Jiang, 2006; Zhang, Li, Gold, & Jiang, 2010)。LPC 是 
情绪 刺激 呈现 后 300~1000 ms 出 现 的 正 波 ， 峰 值 在 500~600 ms 达到 最 大 ， 通 常 分 布 在 中 线 
和 项 区 电极 位 置 ， 主 要 反映 了 对 情绪 信息 的 注意 和 整合 加 工 (Hajcak, MacNamara, & Olvet, 
2010)。 具 体 来 说 ， 与 中 性 刺激 相 比 ， 情 绪 刺 激 如 图 片 (Hajcak & Olvet, 2008) 和 言语 韵律 
(Paulmann & Uskul, 2017) 会 诱发 整个 头皮 产生 一 个 较 大 的 LPC。 由 于 情绪 刺激 具有 较 强 的 动 
机 意义 , 因而 引起 了 更 多 的 注意 (Schuppetal., 2000)。 同样 地 , 与 启动 言语 韵律 (Pell et al., 2015; 
MEE, WAE, 2013) 和 面孔 图 片 (Diamond & Zhang, 2016) 情 绪 不 一 致 的 目标 刺激 诱发 大 脑 
双 侧 顶 枕 区 或 整个 头皮 产生 了 更 大 的 LPC。 这 说 明 ,LPC 与 注意 分 配 和 情绪 整合 相关 (Herring， 
Taylor, White, & Crites Jr, 2011; Zhang, Kong, & Jiang, 2012; Zhang et al., 2010). 

BOE, 张 伟 霞 、 王 莞 琪 、 周 临 舒 和 蒋 存 梅 (2018) 通 过 ERP 技术 考察 歌词 对 音乐 情绪 加 工 
影响 。 研 究 表明 ， 在 无 歌词 的 哼 唱 启动 下 ， 大 脑 整个 头皮 产生 了 N400; 在 带 有 歌词 音乐 启 
动 下 , 大 脑 整个 头皮 产生 了 LPC. 迄今 为 止 ， 尚 未 有 研究 从 电 生 理 角 度 探究 声乐 与 器 乐 情 绪 
加 工 的 差异 。 基 于 此 ， 本 研究 通过 跨 通道 情绪 启动 范式 对 此 进行 探究 。 为 了 排除 声乐 与 器 乐 
曲 在 音乐 形态 上 的 差异 ， 本 研究 选取 相同 的 音乐 , 分 别 由 人 声 和 小 提琴 演奏 ， 由 此 形成 声乐 
和 器 乐 2 个 版 本 。 既 然 歌 词 的 出 现 会 诱发 LPC， 而 无 歌词 的 哼 唱 诱发 出 N400( 张 伟 霞 等 人 ,， 
2018)， 那 么 我 们 预期 声乐 和 器 乐 情绪 加 工 可 能 会 分 别 产生 LPC 和 N400。 
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2 方法 
2.1 被 斌 


根据 已 有 和 


究 ( 张 伟 霞 等 人 , 2018) 中 情绪 一 致 性 的 效应 量 (F(1, 31) = 9.80, n= 0.24), 为 


了 在 0.01 水 平 上 达到 90% 的 统计 检验 力 ，G*Power 3.1.9.4 软件 (Faul, Erdfelder, Lang, & 
Buchner, 2007) 计 算出 的 样本 量 至 少 为 16。 于是， 本 实验 招募 了 20 名 未 受过 专业 音乐 训练 的 


17 人 (男生 9 A; 年 龄 =24.65 土 1.31 岁 )。 被 试 均 为 右 利 手 ， 听 力 和 (矫正 ) 视 力 正常 ， 


伤 和 精神 病史 。 
2. 2 刺激 


所 有 被 试 签署 了 知情 同意 书 ， 并 获得 一 定 报酬 。 


普通 大 学 生 作为 被 试 。 由 于 3 名 被 试 脑 电 伪 迹 过 多 ,在 数据 分 析 时 被 吻 除 ， 因 此 有 效 被 试 为 


无 脑 损 


刺激 包含 启动 和 目标 刺激 。 启 动 刺 激 是 从 声乐 教材 中 挑选 的 50 个 表达 正 性 情绪 和 50 个 


表达 负 性 情绪 的 外 


国歌 剧 片段 (时 长 10~25 s, 平均 17 s)。 歌 剧 片 段 分 别 由 一 名 受过 18 年 声 
乐 或 小 提琴 训练 的 研究 生 用 中 文 演唱 或 小 提琴 演奏 并 进行 录 
乐 形态 上 的 差异 。 本 实验 包含 100 个 声乐 片段 和 100 个 器 乐 片段 。 这 些 音 乐 片段 使 用 单 声 道 


Fl), 由 此 排除 了 声乐 和 器 乐 在 音 


采样 ， 采 样 率 为 22050 Hz。 最 后 ， 使 用 Adobe Audition CS6 软件 将 音量 标准 化 到 -7dB， 同 


时 淡出 1 s。 


200 个 情绪 效 价 一 臻 和 200 个 情绪 效 价 不 一 致 的 配对 。 


启动 刺激 es 目标 刺激 
(音乐 片段) SOA =10-28 s (表情 图 片 ) 


吨 | 《姑娘 的 秋波 》 
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图 1 情绪 启动 范式 例子 


1), A 


目标 刺激 是 从 《中 国 面孔 表情 图 片 系统 》( 获 棚 , 黄 宇 霞 ， 王 妍 ， 罗 跃 嘉 , 2011) 中 挑选 的 
2 张 女 性 面孔 图 片 ， 分 别 表 现 快 乐 和 悲伤 情绪 ;2 张 图 片 的 平均 情绪 认同 度 均 为 97.98%， 其 
平均 情绪 强度 分 别 为 7.24 和 5.88。 每 个 音乐 与 2 张 面 孔 图 片 进行 配对 ( 见 图 


而 形成 


为 确保 刺激 的 有 效 性 ， 我 们 实施 了 3 个 前 测 。 第 一 ， 额 外 的 16 名 普通 大 学 生 对 400 个 
音乐 -图 片 配对 的 情绪 效 价 一 致 性 (1 = 非常 不 一 致 ，9 = 非常 一 致 ) 进 行 评 定 。 对 于 每 个 音乐 
片段 ， 配 对 1 检验 被 用 于 检验 情绪 效 价 一 致 与 不 一 致 配对 的 评定 是 否 具 有 显著 差异 。240 个 
配对 被 作为 正式 的 刺激 : 不 管 启动 刺激 是 声乐 (1(59)= 24.73, p<.001,4=3.19) 还 是 器 乐 (1(59) 


=21.56,p<.001,4=2.78)， 听 者 对 情绪 效 价 一 致 配 对 的 评定 (声乐 : M= 7.21, SD=0.79; 器 乐 : 


M= 6.94, SD = 0.87) 均 高 于 对 情绪 效 价 不 一 致 配对 的 评定 (声乐 : M= 2.72, SD = 0.80; 器 乐 : M 
= 3.15, SD = 0.77)。 以 情绪 效 价 一 致 性 (情绪 效 价 一 致 、 情 绪 效 价 不 一 致 :和 音乐 类 型 (声乐 、 
器 乐 ) 为 被 试 内 变量 进行 的 方差 分 析 结 果 显 示 ， 情 绪 效 价 一 致 性 的 主 效应 (F(1, 59)= 822.81, p 


< .001, np? = .93) 以 及 情绪 效 价 一 致 性 和 音乐 类 型 的 交互 效应 (F(1, 59) = 11.06, p = .002, mp? 


= .16) 显 著 ， 音 乐 类 型 的 主 效 应 不 显著 ，F(1, 59) = 1.14, p = .290。 这 些 结果 表明 实验 材料 是 
有 效 的 ， 同 时 ，2 种 音乐 类 型 的 任务 难度 相似 。 此 外 ， 这 些 大 学 生 对 声乐 中 歌词 清晰 度 (1 = 
不 清楚 ，5 = 清楚 ) 的 平均 评定 高 于 4 (M= 4.45, SD = 0.23)。 第 二 ， 额 外 的 16 名 音乐 专业 学 
生 ( 均 接受 专业 音乐 训练 18 年 以 上 ) 对 声乐 与 器 乐 在 弹性 速度 (M = 5.24, SD = 0.42). JIEM 
= 5.38, SD = 0.40)、 分 句 (M = 5.65, SD = 0.36) 以 及 总 体 表演 水 平 (M = 5.21, SD = 0.40) 方 面 的 
评定 具有 较 高 的 一 致 性 (1 = 非常 不 一 致 ，7= 非常 一 致 )， 其 平均 评定 均 高 于 5. B=, 
的 16 名 普通 大 学 生 对 音乐 的 情绪 效 价 (1 = 非常 不 愉快 ，4= 中 性 ，7 = 非常 愉快 ) 和 唤醒 程 
度 (1 = 非常 平静 ，4 = 中 性 ，7 = 非常 激动 ) 进 行 了 评定 。 就 情绪 效 价 而 言 ， 以 情绪 类 型 ( 正 
性 情绪 、 负 性 情绪 ) 和 音乐 类 型 (声乐 、 器 乐 ) 为 被 试 内 变量 的 方差 分 析 显 示 , 情绪 类 型 (F(1, 29) 
= 2241.98, p < .001, np? = .99) 与 音乐 类 型 (F(1, 29) = 4.80, p = 037, np? = .14) 的 主 效应 以 及 二 者 
的 交互 效应 (F(1, 29) = 8.37, p = .007, n = .22) 显 著 。 简 单 效应 分 析 表 明 ， 就 正 性 情绪 音乐 而 


言 ， 器 乐 (M=5.43,SD=0.30) 与 声乐 (MY=5.46, SD = 0.26) 的 情绪 效 价 没有 差异 (FUl, 29) = 0.18， 


p=.674); 就 负 性 情绪 音乐 而 言 ， 器 乐 (M=2.66,SD=0.30) 的 情绪 效 价 高 于 声乐 (M=2.41, SD 


= 0.35), F(1, 29) = 13.40, p = .001, np? = .32。 就 唤醒 程度 而 言 ， 情 绪 类 型 (F(1, 29) = 111.87, p 


r 


< .001,m2 = .79) 和 音乐 类 型 (F(1, 29) = 419.34, p < .001, n? = .94) 的 主 效应 以 及 交互 效应 (FU1， 


29) = 18.97, p < .001,mo2=.40) 显 著 。 简 单 效应 分 析 表 明 ， 无 论 是 正 性 情绪 (CE(1, 29) = 36.07, p 


< .001,np?=.55) 还 是 负 性 情绪 (F(1, 29) = 206.79, p < .001, np? = .88) 音 乐 ， 器 乐 的 唤醒 程度 ( 正 


性 情绪 : M= 4.87, SD = 0.59; 负 性 情绪 : M= 3.32, SD = 0.41) 都 低 于 声乐 ( 正 性 情绪 : M = 5.54, 


SD = 0.47; 负 性 情绪 : M = 4.80, SD = 0.49)。 


2. 3 程序 

首先 ， 电脑 屏 幕 中 心 出 现 一 个 持续 时 间 为 1 s 的 黑色 注视 点 “+”。 注 视点 消失 后 ， 启 动 
刺激 出 现 ， 被 试 通过 耳机 聆听 音乐 。 在 音乐 播放 完毕 之 后 ， 呈 现 目 标 刺激 1 s。 最 后 ， 出 现 
反应 界面 , 要 求 被 试 判断 音乐 与 面孔 图 片 所 表达 的 情绪 效 价 是 否 一 致 , 之 后 按 空格 键 开始 下 
一 个 斌 次。 实验 结束 后 ,要求 被 试 报告 音乐 的 标题 , 但 是 他 们 未 能 报告 出 所 有 音乐 标题 中 的 
任何 一 个 关键 词 。 
2.4 数据 记录 与 分 析 

EEG 信号 通过 NeuroScan Synamps 2 系统 及 其 64 导电 极 帽 (10-20 方式 排列 电极 ) 进 行 采 
慌 。 左 侧 乳 突 为 参考 电极 ， 右 侧 乳 突 为 记录 电极 。 信 号 经 过 AC 放大 器 放大 ， 滤 波 带 通 为 
0.05~100 Hz， 采 样 率 为 500 Hz。 所 有 电极 R < 5 kQ。 

数据 采用 Neuroscan 4.5 软件 进行 预 处 理 。 首 先 ， 将 原始 数据 转换 为 双 侧 乳 突 电极 的 平 
通过 视觉 观察 手动 排除 肌 电 、 心 电 、 漂 移 等 伪 迹 并 使 用 软件 的 回归 程序 自动 矫正 眼 
电 伪 迹 。 其 次 ， 进 行 0.1~30 Hz (24dB/oct slope) 的 带 通 滤波 。 然 后 ， 对 目标 刺激 - 200~1000 
ms 的 脑 电 进行 分 段 ， 并 进行 基线 校正 ( - 200~0ms)。 最 后 ， 自 动 剔除 波幅 在 土 80 uV 之 外 以 
及 反应 错误 的 试 次 ， 对 不 同 实验 条 件 的 试 次 分 别 进行 琵 加 。 

在 预 处 理 后 ， 为 了 控制 由 众多 电极 和 时 间 点 进行 多 重 比 较 引 起 的 I 类 错误 概率 ， 我 们 使 


] Fieldtrip 工具 箱 (Oostenveld, Fries, Maris, & Schoffelen, 2011) 中 的 基于 聚 类 的 置换 检验 
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Re 
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(cluster-based permutation test) 方 法 (Maris & Oostenveld, 2007) 进 行 统计 分 析 。 首 先 ， 使 用 相关 
样本 t 检验 比较 了 情绪 效 价 一 致 与 不 一 致 条 件 在 每 个 相 邻 电极 -时 间 点 配对 的 差异 。 如 果 其 
差异 在 .05 水 平 上 达到 显著 ,那么 该 配对 被 作为 一 个 簇 (cluster)。 对 于 每 个 簇 ， 簇 内 每 个 电极 
-时 间 点 1 值 之 和 作为 簇 水 平 的 + 值 。 然后 , 我 们 混合 每 个 被 试 在 情绪 效 价 一 致 与 不 一 致 条 件 
的 数据 ， 随 机 抽样 2000 次 ， 计 算出 每 次 抽样 得 到 的 最 大 的 簇 水 平 统计 量 ， 从 而 构建 一 个 假 
定 2 个 实验 条 件 没有 差异 的 零 分 布 。 最后, 对 比 实际 观测 到 的 与 零 分 布 得 到 的 最 大 的 簇 水平 
统计 量 ， 使 用 蒙特 卡 罗 方 法 估算 p 值 (a=.05)。 为 了 增加 统计 检验 的 敏感 性 ， 我 们 根据 已 有 


关于 N400 (Schirmer et al., 2005; Steinbeis & Koelsch, 2011) 与 LPC (Herring et al., 2011; Zhang 


TT 


et al., 2010) 的 研究 和 目测 ， 把 面孔 图 片 出 现 后 的 200~500 ms 和 400~700 ms 分 别 作为 N400 


和 LPC 的 时 间 窗 口 。 


3 结果 
3.1 行为 结果 

我 们 以 情绪 效 价 一 致 性 和 音乐 类 型 为 被 试 内 变量 分 别 对 正确 率 和 反应 时 进行 重复 测量 
方差 分 析 。 就 正确 率 而 言 ,情绪 效 价 一 致 性 的 主 效应 显著 (F(1,16)= 13.50, p = .002, np? =.46), 
表明 听 者 在 情绪 效 价 一 致 配对 上 的 成 绩 (M = 92.04%, SD = 5.93) 高 于 在 情绪 效 价 不 一 致 配对 
上 的 成 绩 (M= 81.27%, SD=14.40)。 同 时, 音乐 类 型 的 主 效应 也 显著 (F(1, 16)= 17.15, p=.001, 
Tp 一 .52)， 表 明 听 者 在 以 声乐 为 启动 刺激 时 对 情绪 效 价 一 致 性 判断 的 成 绩 (M = 89.79%, SD = 
8.94) 比 在 以 器 乐 为 启动 刺激 时 的 成 绩 好 (M= 83.52%, SD = 14.21)。 然 而 ， 二 者 的 交互 作用 不 


显著 (F(1, 16) = 0.02, p = .903). 


就 反应 时 而 言 ， 情 绪 效 价 一 致 性 的 主 效应 显著 (F(1, 16) = 12.54, p = .003, n? = .44) X 
明 听 者 对 情绪 效 价 一 致 配对 的 反应 (M = 993.40 ms, SD = 456.20) 快 于 对 情绪 效 价 不 一 致 配对 


的 反应 (M = 1174.97 ms, SD = 595.25)。 但 是 ， 音 乐 类 型 的 主 效应 (F(1, 16) = 0.49, p = .495) 和 


二 者 的 交互 作用 (7(1, 16) = 0.27, p= .613) 均 不 显著 。 


3. 2 ERP 结果 


在 N400 时 间 窗 口内 ， 置 换 检验 结果 显示 ， 当 启动 刺激 是 器 乐 时 ， 情 绪 效 价 不 一 致 的 面 
孔 图 片 比 情绪 效 价 一 致 的 面孔 图 片 诱 发 的 脑 电波 更 为 负 性 = .011; 见 图 2)。 从 图 3 可 以 看 
出 ， 该 效应 主要 产生 于 281~471 ms 的 右 侧 额 晒 和 中 央 顶 区 电极 。 然 而 ， 当 局 动 刺激 是 声乐 
时 ， 情 绪 效 价 一 致 与 不 一 致 的 面孔 图 片 诱发 的 脑 电 波 没有 不 同 。 

在 LPC 时 间 窗 口内 ， 和 置换 检验 结果 表明 ， 当 启动 刺激 是 声乐 时 ， 情 绪 效 价 不 一 致 比 一 
致 的 面孔 图 片 诱发 了 一 个 波幅 更 大 的 正成 分 (p = .019; 见 图 2)。 从 图 3 可 以 看 出 ， 该 成 分 主 
要 产生 于 473~677 ms 的 左 侧 额 中 和 顶 枕 区 电极 。 但 是 ， 当 启动 刺激 是 器 乐 时 ， 情 绪 效 价 一 
致 与 不 一 致 的 面孔 图 片 诱发 的 脑 电波 没有 差异 。 
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2 启动 刺激 为 器 乐 (a) 与 声乐 (b) 时 面孔 图 片 在 9 个 代表 性 电极 上 诱发 的 平均 脑 电 波形 图 


VE: 阴影 区 域 表 示 每 个 时 间 点 平均 波幅 的 95% CI。 


281~471 ms 473~677 ms 


3 启动 刺激 为 器 乐 (a) 与 声乐 (b) 时 面孔 图 片 在 2 个 时 间 窗 


(a) 器 乐 (b) 声乐 
4bV 
-4 


281~471 ms 473~677 ms 
口 产生 的 差异 波 的 头皮 分 布地 形 图 


注 : * 表 示 在 特定 时 间 窗 口内 ERP 效应 显著 的 电极 。 


4 讨论 

本 研究 使 用 ERP 技术 探讨 声乐 与 器 乐 情绪 加 工 的 电 生理 反应 是 否 存在 差异 。 研 究 表明 ， 
与 一 致 条 件 相 比 ， 与 面孔 情绪 不 一 致 的 器 乐曲 诱发 了 N400; 而 与 面孔 情绪 不 一 致 的 声乐 曲 
诱发 了 LPC。 这 说 明 ， 声 乐 与 器 乐 情绪 加 工 的 电 生理 反应 存在 差异 。 

我 们 发 现 ， 启 动 刺激 为 器 乐 片段 时 ， 情 绪 效 价 不 一 致 比 一 致 的 面孔 图 片 产生 了 更 大 的 


N400。 该 结果 与 一 些 研究 结果 一 致 : 无 论 启 动 刺激 是 单个 和 弱 (Steinbeis & Koelsch, 2011; 


Zhou, Liu, Jiang, & Jiang, 2019) 还 是 器 乐 片段 (Goerlich et al., 2012; Zhang et al., 2019) 时 ， 情 绪 
不 一 致 比 一 致 的 面孔 图 片 或 具有 情绪 意义 的 单词 都 会 诱发 大 脑 产生 一 个 较 大 的 (类 似 )N400。 
本 研究 的 N400 可 能 主要 反映 了 大 脑 对 情绪 冲突 信息 的 检测 与 整合 (Zhang et al., 2006, 2010). 
具体 而 言 , 启动 刺激 在 概念 水 平 上 预先 激活 了 与 目标 刺激 有 关 的 情绪 表征 , 从 而 使 情绪 一 致 
的 目标 刺激 诱发 的 N400 波幅 减 小 (Goerlich et al., 2012)。 然 而 ， 对 于 情绪 不 一 致 的 目标 刺激 
Ma, 由 于 与 其 相关 的 情绪 表征 没有 提前 被 激活 ,因此 被 试 需要 更 多 的 认 知 资源 对 情绪 信息 
进行 整合 (Zhang et al., 2010)， 导 致 N400 波幅 增 大 。 由 于 这 种 激活 具有 自动 化 的 性 质 (Zhang 
et al., 2006)， 因 而 N400 与 情绪 信息 的 自动 化 整合 加 工 有 关 。 

另 一 方面 ， 本 研究 的 N400 主要 产生 于 右 侧 额 里 和 中 央 项 区 电极 ， 表 明 N400 出 现 了 右 
半球 偏 侧 化 现象 。 这 与 已 有 研究 结果 一 致 : 当 被 试 任务 是 判断 目标 刺激 与 启动 刺激 情绪 
(Schirmer et al., 2005) 或 意义 (Painter & Koelsch, 2011) 是 否 一 致 时 ，N400 出 现 右 侧 化 。 的 确 ， 
fMRI 研究 也 表明 ， 纯 音乐 比 歌曲 激活 了 更 多 的 右 侧 脑 区 ， 比 如 额 中 回 、 额 下 回 和 扣 带 回 
(Brattico et al., 2011)。 但 是 ， 本 研究 结果 也 与 ERP 研究 结果 矛盾 : 与 启动 和 弦 或 器 乐 情绪 不 
O 一 致 的 目标 刺激 诱发 的 N400 源 于 整个 头皮 (Steinbeis & Koelsch, 2011; Zhou et al., 2019) 或 前 

部 区 域 (Goerlich etal., 2012) 电 极 。 这 种 矛盾 可 能 源 于 被 试 任务 的 差异 : 在 这 些 研究 中 ， 被 试 
的 任务 是 判断 目标 刺激 的 情绪 效 价 ; 在 本 研究 中 , 被 试 任务 是 判断 目标 刺激 与 启动 刺激 情绪 
效 价 的 一 致 性 ， 容 易 使 被 试 较 多 关注 启动 刺激 的 情绪 。 未 来 研究 需要 对 此 进行 探究 。 

我 们 也 发 现 , 启动 刺激 为 声乐 片段 时 , 情绪 效 价 不 一 致 比 一 致 的 面孔 图 片 诱发 了 更 大 的 
LPC。 该 结果 与 先前 研究 结果 一 致 : 与 启动 歌曲 ( 张 伟 霞 等 人 2018) Al A E BR(Pell etal., 2015; 
REH, 黄 贤 军 , 2013) 情 绪 不 一 致 的 面孔 图 片 诱 友 了 较 大 的 LPC。 本 研究 的 LPC 可 能 反映 
了 注意 资源 的 分 配 (Zhang et al., 2010, 2012)。 当 启动 刺激 是 歌曲 时 ， 由 于 歌曲 本 身 的 唤醒 程 
度 比 较 高 ， 因 而 会 引起 被 试 较 多 的 注意 (Schupp et al.,2000)。 同 时 ， 本 研究 的 LPC 也 可 能 
映 了 情绪 的 整合 加 工 (Herring et al., 2011)， 因 为 听 者 需要 先 把 歌词 与 音乐 的 情绪 进行 整合 ， 


然后 再 与 面孔 图 片 的 情绪 进行 匹配 。 因 为 涉及 言语 信息 , 听 者 需要 使 用 命题 表征 或 思维 有 


识 地 对 情绪 信息 进行 加 工 (Strack & Deutsch, 2004)， 所 以 体现 了 反思 性 的 整合 加 工 (Imbir, 


ck 


Spustek, & Zygierewicz, 2016)。 然 而 ， 声 乐 情绪 加 工 并 没有 产生 N400。 该 结果 验证 了 张 伟 霞 
等 人 (2018) 的 结果 : 与 歌曲 情绪 不 一 致 的 面孔 图 片 没 有 诱发 N400。 这 可 能 是 因为 N400 与 
LPC 反映 了 不 同 的 情绪 整合 功能 。 这 种 解释 与 情绪 二 元 模型 的 观点 一 致 Jarymowicz & Imbir, 
2015)。 该 模型 认为 ， 个 体 对 刺激 做 出 情绪 反应 的 过 程 涉及 2 个 独立 的 评价 系统 一 一 自动 评 
价 系 统 和 反思 评价 系统 (Jarymowicz & Imbir, 2015): 前 者 不 需要 以 言语 为 基础 ， 后 者 则 需要 
(Imbir et al., 2016). 

就 LPC 头皮 分 布 而 言 , 本 研究 的 LPC 主要 产生 于 左 侧 额 中 和 顶 枕 电极 , 表明 了 LPC 的 
左 半球 偏 侧 化 。 这 与 已 有 研究 结果 一 致 ， 当 单词 情绪 与 反思 评价 系统 相关 (Imbir et al., 2016) 
或 启动 面孔 与 目标 面孔 情绪 不 一 致 (Cheal, Heisz, Walsh, Shedden, & Rutherford, 2014) 时 ， 左 
侧 电极 产生 了 较 大 的 LPC。fMRI 研究 也 表明 ， 歌 曲 比 纯音 乐 激活 了 更 多 的 左 侧 脑 区 ， 比 如 
里 上 回 、 壳 核 、 攀 叶 和 小 脑 山 坡 (Brattico etal., 2011)。 然 而 ， 本 研究 结果 也 与 ERP 研究 结 
不 一 致 : 与 启动 歌曲 或 言语 韵律 情绪 不 一 致 的 面孔 图 片 诱发 的 LPC 产生 于 整个 头皮 ( 张 伟 霞 
等 人 , 2018) 或 双 侧 顶 枕 区 (Pell etal., 2015; 郑 志 伟 , 黄 贤 军 , 2013) 电 极 。 这 种 矛盾 可 能 与 不 同 
究 使 用 的 启动 刺激 材料 情绪 效 价 和 唤醒 程度 的 差异 有 关 。 由 于 这 些 研 究 没 有 提供 相关 数 
据 ， 我 们 难以 确定 产生 矛盾 结果 的 具体 原因 。 


wt 


致谢 : 感谢 上 海 师范 大 学 音乐 学 院 蒋 存 梅 教授 在 本 文 写作 中 提供 的 帮助 ; 感谢 上 海 公共 卫生 
临床 中 心 蔡 丹 超 博 士 、 中 国 科学 院 心理 研究 所 孙 丽 君 博士 以 及 重庆 邮电 大 学 李 沛 洋 老 师 在 
ERP 数据 分 析 和 作 图 方面 提供 的 帮助 。 


参考 文献 


Ze, MFR, EW, PRS. (2011). 中 国 面 也 表情 图 片 系统 的 修订 ， 夫 居心 融和 生 条 起 25(1), 40-46. 


张 伟 霞 ， 王 莞 琪 ， 周 临 舒 ， 蒋 存 梅 . (2018). 歌词 对 音乐 情绪 加 工 的 影响 : 行为 与 ERP 研究 . OHAR 50(12)， 


1346-1355. 


郑 志 伟 ， 黄 贤 军 . (2013). 情绪 语音 调节 面孔 表情 的 识别 : ERP ibd. OHRA 360), 33-37. 


Ali, S. O., & Peynircioğlu, Z. F. (2006). Songs and emotions: Are lyrics and melodies equal partners? Psychology of 


Music, 34(4), 511-534. 


Brattico, E., Alluri, V., Bogert, B., Jacobsen, T., Vartiainen, N., Nieminen, S., & Tervaniemi, M. (2011). A functional 
MRI study of happy and sad emotions in music with and without lyrics. Frontiers in Psychology, 2. 
doi:10.3389/fpsyg.2011.00308 

Cheal, J. L., Heisz, J. J., Walsh, J. A., Shedden, J. M., & Rutherford, M. D. (2014). Afterimage induced neural activity 
during emotional face perception. Brain Research, 1549, 11-21. 

Diamond, E., & Zhang, Y. (2016). Cortical processing of phonetic and emotional information in speech: A cross- 
modal priming study. Neuropsychologia, 82, 110-122. 

Faul, F., Erdfelder, E., Lang, A.-G., & Buchner, A. (2007). G*Power 3: A flexible statistical power analysis program 
for the social, behavioral, and biomedical sciences. Behavior Research Methods, 39(2), 175-191. 

Focker, J., & Röder, B. (2019). Event-related potentials reveal evidence for late integration of emotional prosody 
and facial expression in dynamic stimuli: An ERP study. Multisensory Research, 32(6), 473-497. 

Franco, F., Chew, M., & Swaine, J. S. (2017). Preschoolers’ attribution of affect to music: A comparison between 
vocal and instrumental performance. Psychology of Music, 45(1), 131-149. 

Goerlich, K. S., Witteman, J., Schiller, N. O., Van Heuven, V. J., Aleman, A., & Martens, S. (2012). The nature of 
affective priming in music and speech. Journal of Cognitive Neuroscience, 24(8), 1725-1741. 

Hajcak, G., & Olvet, D. M. (2008). The persistence of attention to emotion: Brain potentials during and after picture 
presentation. Emotion, 8(2), 250-255. 

Hajcak, G., MacNamara, A., & Olvet, D. M. (2010). Event-related potentials, emotion, and emotion regulation: An 
integrative review. Developmental Neuropsychology, 35(2), 129-155. 

Herring, D. R., Taylor, J. H., White, K. R., & Crites Jr, S. L. (2011). Electrophysiological responses to evaluative 
priming: The LPP is sensitive to incongruity. Emotion, 11(4), 794-806. 

Imbir, K. K., Spustek, T., & Zygierewicz, J. (2016). Effects of valence and origin of emotions in word processing 
evidenced by event related potential correlates in a lexical decision task. Frontiers in Psychology, 7. doi: 
10.3389/fpsyg.2016.00271 

Jarymowicz, M. T., & Imbir, K. K. (2015). Toward a human emotions taxonomy (based on their automatic vs. 
reflective origin). Emotion Review, 7(2), 183—188. 

Kraus, D., & Horowitz-Kraus, T. (2014). The effect of learning on feedback-related potentials in adolescents with 
dyslexia: An EEG-ERP study. PLoS ONE, 9(6), e100486.doi: 10.137 1/journal.pone.0100486 

Kutas, M., & Federmeier, K. D. (2011). Thirty years and counting: Finding meaning in the N400 component of the 


event-related brain potential (ERP). Annual Review of Psychology, 62(1), 621-647. 
10 


Loui, P., Bachorik, J. P., Li, H. C., & Schlaug, G. (2013). Effects of voice on emotional arousal. Frontiers in 
Psychology, 4. doi: 10.3389/fpsyg.2013.00675 

Luck, S. J. (2014). An introduction to the event-related potential technique (2nd ed.). Cambridge, MA: The MIT 
Press. 

Maris, E., & Oostenveld, R. (2007). Nonparametric statistical testing of EEG- and MEG-data. Journal of 
Neuroscience Methods, 164(1), 177-190. 

Oostenveld, R., Fries, P., Maris, E., & Schoffelen, J.-M. (2011). FieldTrip: Open source software for advanced 
analysis of MEG, EEG, and invasive electrophysiological data. Computational Intelligence and 
Neuroscience, 1-9. doi:10.1155/2011/156869. 

Painter, J. G., & Koelsch, S. (2011). Can out-of-context musical sounds convey meaning? An ERP study on the 
processing of meaning in music. Psychophysiology, 48(5), 645-655. 

Paulmann, S., & Pell, M. D. (2010). Contextual influences of emotional speech prosody on face processing: How 
much is enough? Cognitive, Affective, & Behavioral Neuroscience, 10(2), 230-242. 

Paulmann, S., & Uskul, A. K. (2017). Early and late brain signatures of emotional prosody among individuals with 
high versus low power. Psychophysiology, 54(4), 555-565. 

Pell, M. D., Rothermich, K., Liu, P., Paulmann, S., Sethi, S., & Rigoulot, S. (2015). Preferential decoding of emotion 
from human non-linguistic vocalizations versus speech prosody. Biological Psychology, 111, 14-25. 

Schirmer, A., Kotz, S. A., & Friederici, A. D. (2005). On the role of attention for the processing of emotions in 
speech: Sex differences revisited. Cognitive Brain Research, 24(3), 442—452. 

Schupp, H. T., Cuthbert, B. N., Bradley, M. M., Cacioppo, J. T., Ito, T., & Lang, P. J. (2000). Affective picture 
processing: The late positive potential is modulated by motivational relevance. Psychophysiology, 37(2), 
257-261. 

Steinbeis, N., & Koelsch, S. (2011). Affective priming effects of musical sounds on the processing of word meaning. 
Journal of Cognitive Neuroscience, 23(3), 604—621. 

Strack, F., & Deutsch, R. (2004). Reflective and impulsive determinants of social behavior. Personality and Social 
Psychology Review, 8(3), 220-247. 

Stratton, V. N., & Zalanowski, A. H. (1994). Affective impact of music vs. lyrics. Empirical Studies of the Arts, 
12(2),173-184. 

Zhang, Q., Kong, L., & Jiang, Y. (2012). The interaction of arousal and valence in affective priming: Behavioral and 


electrophysiological evidence. Brain Research, 1474, 60-72. 
11 


202003.00002v1 


chinaXiv 


Zhang, Q., Lawson, A., Guo, C., & Jiang, Y. (2006). Electrophysiological correlates of visual affective priming. 
Brain Research Bulletin, 71(1-3), 316-323. 

Zhang, Q., Li, X., Gold, B. T., & Jiang, Y. (2010). Neural correlates of cross-domain affective priming. Brain 
Research, 1329, 142-151. 

Zhang, W., Liu, F., Zhou, L., Wang, W., Jiang, H., & Jiang, C. (2019). The effects of timbre on neural responses to 
musical emotion. Music Perception, 37(2), 134-146. 

Zhou, L., Liu, F., Jiang, J., & Jiang, C. (2019). Impaired emotional processing of chords in congenital amusia: 
Electrophysiological and behavioral evidence. Brain and Cognition, 135, 103577. doi: 


10.1016/j.bandc.2019.06.001 


12 


Emotional processing in vocal and instrumental music: An ERP 


study 


JIANG Junl; ZHANG Weixia’; WANG Wangi? 
( Music College, Shanghai Normal University, Shanghai 200234, China) 
Ê College of Education, Shanghai Normal University, Shanghai 200234, China) 


C School of Finance and Business, Shanghai Normal University, Shanghai 200234, China) 


Abstract: The event-related potential (ERP) technique was used to investigate whether there are 
different neural responses to musical emotion when the same melodies are presented in the voice 
and instrumental timbre such as the violin. With a crossmodal affective priming paradigm, target 
faces were primed by affectively congruent or incongruent vocal and instrumental music. 
Participants were asked to judge whether the prime-target pair was affectively congruent or 
incongruent. The results revealed a larger late positive component (LPC) at the time window of 
473~677 ms in response to affectively incongruent versus congruent trials in the vocal version, 
whereas a larger N400 effect at the time window of 281~471 ms was observed in the instrumental 
version. These results indicate differential patterns of neurophysiological responses to emotion 
processing of vocal and instrumental music. 


Key words: vocal music; instrumental music; emotion processing; N400; LPC 
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